我们介绍了$（p，q）$ - 公平集群问题。在这个问题中，我们给出了一组点数$ p $和不同重量函数的集合$ w $。我们想找到一个群集，最小化$ \ ell_q $ -norm的$ \ ell_p $-norm的$ \ ell_p $ -norms的$ p $从中心。这概括了各种聚类问题，包括社会博览会$ k $ -Median和$ k $ - emeans，并且与其他问题紧密相连，如Densest $ K $ -subgraph和Min $ K $ -Union。我们利用凸编程技术来估计$（p，q）$ - 为$ p $和$ q $的不同价值观达到公平的聚类问题。当$ p \ geq q $时，我们得到$ o（k ^ {（pq）/（2pq）}）$，它几乎匹配$ k ^ {\ omega（（pq）/（pq））} $低于基于Min $ K $ -Union和其他问题的猜想硬度的束缚。当$ q \ geq p $时，我们得到一个近似，它与界限$ p，q $的输入的大小无关，也与最近的$ o相匹配（（\ log n /（\ log \ log n）） ^ {1 / p}）$ - $（p，\ infty）$ - makarychev和vakilian（colt 2021）的公平聚类。
translated by 谷歌翻译
Fusion-in-Decoder (FiD) is a powerful retrieval-augmented language model that sets the state-of-the-art on many knowledge-intensive NLP tasks. However, FiD suffers from very expensive inference. We show that the majority of inference time results from memory bandwidth constraints in the decoder, and propose two simple changes to the FiD architecture to speed up inference by 7x. The faster decoder inference then allows for a much larger decoder. We denote FiD with the above modifications as FiDO, and show that it strongly improves performance over existing FiD models for a wide range of inference budgets. For example, FiDO-Large-XXL performs faster inference than FiD-Base and achieves better performance than FiD-Large.
translated by 谷歌翻译
Nowadays, copy detection patterns (CDP) appear as a very promising anti-counterfeiting technology for physical object protection. However, the advent of deep learning as a powerful attacking tool has shown that the general authentication schemes are unable to compete and fail against such attacks. In this paper, we propose a new mathematical model of printing-imaging channel for the authentication of CDP together with a new detection scheme based on it. The results show that even deep learning created copy fakes unknown at the training stage can be reliably authenticated based on the proposed approach and using only digital references of CDP during authentication.
translated by 谷歌翻译
2022-12-05
Accurately forecasting the weather is an important task, as many real-world processes and decisions depend on future meteorological conditions. The NeurIPS 2022 challenge entitled Weather4cast poses the problem of predicting rainfall events for the next eight hours given the preceding hour of satellite observations as a context. Motivated by the recent success of transformer-based architectures in computer vision, we implement and propose two methodologies based on this architecture to tackle this challenge. We find that ensembling different transformers with some baseline models achieves the best performance we could measure on the unseen test data. Our approach has been ranked 3rd in the competition.
translated by 谷歌翻译
我们介绍了Twhin-Bert，这是一种多语言语言模型，该模型在流行的社交网络Twitter上训练了内域数据。Twhin-bert与先前的预训练的语言模型有所不同，因为它不仅接受了基于文本的自学训练，而且还具有基于Twitter异质信息网络（TWHIN）中丰富社交活动的社会目标。我们的模型接受了70亿条推文的培训，涵盖了100多种不同的语言，为简短，嘈杂，用户生成的文本提供了有价值的表示形式。我们对各种多语言社会建议和语义理解任务进行评估，并证明了对既定的预训练的语言模型的大幅改进。我们将自由开放源代码Twhin-Bert和我们为研究社区提供的精心策划标签预测和社会参与基准数据集。
translated by 谷歌翻译
我们研究了数据驱动的深度学习方法的潜力，即从观察它们的混合物中分离两个通信信号。特别是，我们假设一个信号之一的生成过程（称为感兴趣的信号（SOI）），并且对第二个信号的生成过程不了解，称为干扰。单通道源分离问题的这种形式也称为干扰拒绝。我们表明，捕获高分辨率的时间结构（非平稳性），可以准确地同步与SOI和干扰，从而带来了可观的性能增长。有了这个关键的见解，我们提出了一种域信息神经网络（NN）设计，该设计能够改善“现成” NNS和经典检测和干扰拒绝方法，如我们的模拟中所示。我们的发现突出了特定于交流领域知识的关键作用在开发数据驱动的方法方面发挥了作用，这些方法具有前所未有的收益的希望。
translated by 谷歌翻译
冰雹风险评估对于估计和减少对农作物，果园和基础设施的破坏是必要的。此外，它有助于估计和减少企业，尤其是保险公司的损失。但是冰雹预测具有挑战性。用于此目的的设计模型的数据是树维的地理空间时间序列。关于可用数据集的分辨率，冰雹是一个非常本地的事件。同样，冰雹事件很少见 - 观测中只有1％的目标标记为“冰雹”。现象和短期冰雹预测的模型正在改善。将机器学习模型引入气象学领域并不是什么新鲜事。还有各种气候模型反映了未来气候变化的可能情况。但是，没有用于数据驱动的机器学习模型来预测给定区域的冰雹频率变化。后一项任务的第一种可能方法是忽略空间和时间结构，并开发一种能够将气象变量的给定垂直轮廓分类为有利于冰雹形成的模型。尽管这种方法肯定忽略了重要的信息，但它的加权非常轻，很容易扩展，因为它将观察值视为彼此独立的。更高级的方法是设计能够处理地理空间数据的神经网络。我们在这里的想法是将负责处理空间数据处理的卷积层与能够使用时间结构工作的复发神经网络块相结合。这项研究比较了两种方法，并引入了一个适合预测冰雹频率变化的任务的模型。
translated by 谷歌翻译
气候变化增加了损害电力系统可靠性并导致多次设备故障的极端天气事件（风暴，大雨，野火）的数量。实时和准确检测潜在线路故障是减轻极端天气影响并激活紧急控制的第一步。功率平衡方程非线性，极端事件中的发电不确定性增加，缺乏电网可观察性会损害传统数据驱动的失败检测方法的效率。同时，基于神经网络的现代化的机器学习方法需要大量数据来检测事故，尤其是在改变时间的环境中。本文提出了一个具有物理信息的线路故障检测器（字段），该探测器利用网格拓扑信息来减少样本和时间复杂性并提高定位准确性。最后，我们说明了与最先进的方法相比，与各种测试用例相比，我们的方法的优越性实证性能。
translated by 谷歌翻译
交替的电流（AC）偶然受限的最佳功率流（CC-OPF）问题解决了发电不确定性下发电和交付的经济效率。由于可再生能源量大量，后者是现代电网的内在固有的。尽管取得了学术上的成功，但AC CC-OPF问题是高度非线性和计算要求的，这限制了其实际影响。为了改善AC-OPF问题的复杂性/准确性权衡，本文提出了一种快速数据驱动的设置，该设置使用稀疏和混合的高斯流程（GP）框架，以模拟具有输入不确定性的功率流程方程。我们提倡通过数值研究对拟议方法的效率，而与最新方法相比，多个IEEE测试用例的效率快两倍，更准确。
translated by 谷歌翻译
我们研究了单通道源分离（SCSS）的问题，并专注于环化信号，这些信号特别适用于各种应用领域。与经典的SCSS方法不同，我们考虑了一个仅可用源的示例而不是模型的设置，从而激发了数据驱动的方法。对于具有基本环化高斯成分的源模型，我们为任何基于模型或数据驱动的分离方法建立了可达到的均方误差（MSE）的下限。我们的分析进一步揭示了最佳分离和相关实施挑战的操作。作为一种计算吸引力的替代方案，我们建议使用U-NET体系结构进行深度学习方法，该方法与最低MSE估计器具有竞争力。我们在模拟中证明，有了合适的域信息架构选择，我们的U-NET方法可以通过大幅减少的计算负担来达到最佳性能。
translated by 谷歌翻译